Pada 1974 Tun Ghafar meninggalkan kabinet pimpinan Perdana Menteri Tun Hussein Onn . Pada 1981 menolak jawatan Menteri Pelajaran yang ditawarkan oleh Tun Dr Mahathir Mohamad.

Antara jawatan yang disandangnya ialah Menteri Pembangunan Negara dan Luar Bandar, Menteri Pertanian dan Pembangunan Luar Bandar dan Menteri Perumahan dan Kerajaan Tempatan. Pada 1989 Tun Ghafar memangku jawatan Perdana Menteri semasa Dr. Mahathir menjalani pembedahan jantung.